Modern autonomous driving system is characterized as modular tasks in sequential order, i.e., perception, prediction and planning. As sensors and hardware get improved, there is trending popularity to devise a system that can perform a wide diversity of tasks to fulfill higher-level intelligence. Contemporary approaches resort to either deploying standalone models for individual tasks, or designing a multi-task paradigm with separate heads. These might suffer from accumulative error or negative transfer effect. Instead, we argue that a favorable algorithm framework should be devised and optimized in pursuit of the ultimate goal, i.e. planning of the self-driving-car. Oriented at this goal, we revisit the key components within perception and prediction. We analyze each module and prioritize the tasks hierarchically, such that all these tasks contribute to planning (the goal). To this end, we introduce Unified Autonomous Driving (UniAD), the first comprehensive framework up-to-date that incorporates full-stack driving tasks in one network. It is exquisitely devised to leverage advantages of each module, and provide complementary feature abstractions for agent interaction from a global perspective. Tasks are communicated with unified query design to facilitate each other toward planning. We instantiate UniAD on the challenging nuScenes benchmark. With extensive ablations, the effectiveness of using such a philosophy is proven to surpass previous state-of-the-arts by a large margin in all aspects. The full suite of codebase and models would be available to facilitate future research in the community.

Recent success of vision transformers has inspired a series of vision backbones with novel feature transformation paradigms, which report steady performance gain. Although the novel feature transformation designs are often claimed as the source of gain, some backbones may benefit from advanced engineering techniques, which makes it hard to identify the real gain from the key feature transformation operators. In this paper, we aim to identify real gain of popular convolution and attention operators and make an in-depth study of them. We observe that the main difference among these feature transformation modules, e.g., attention or convolution, lies in the way of spatial feature aggregation, or the so-called "spatial token mixer" (STM). Hence, we first elaborate a unified architecture to eliminate the unfair impact of different engineering techniques, and then fit STMs into this architecture for comparison. Based on various experiments on upstream/downstream tasks and the analysis of inductive bias, we find that the engineering techniques boost the performance significantly, but the performance gap still exists among different STMs. The detailed analysis also reveals some interesting findings of different STMs, such as effective receptive fields and invariance tests. The code and trained models will be publicly available at https://github.com/OpenGVLab/STM-Evaluation

Compared to the great progress of large-scale vision transformers (ViTs) in recent years, large-scale models based on convolutional neural networks (CNNs) are still in an early state. This work presents a new large-scale CNN-based foundation model, termed InternImage, which can obtain the gain from increasing parameters and training data like ViTs. Different from the recent CNNs that focus on large dense kernels, InternImage takes deformable convolution as the core operator, so that our model not only has the large effective receptive field required for downstream tasks such as detection and segmentation, but also has the adaptive spatial aggregation conditioned by input and task information. As a result, the proposed InternImage reduces the strict inductive bias of traditional CNNs and makes it possible to learn stronger and more robust patterns with large-scale parameters from massive data like ViTs. The effectiveness of our model is proven on challenging benchmarks including ImageNet, COCO, and ADE20K. It is worth mentioning that InternImage-H achieved the new record 65.4 mAP on COCO test-dev. The code will be released at https://github.com/OpenGVLab/InternImage.

在鸟眼中学习强大的表现（BEV），以进行感知任务，这是趋势和吸引行业和学术界的广泛关注。大多数自动驾驶算法的常规方法在正面或透视视图中执行检测，细分，跟踪等。随着传感器配置变得越来越复杂，从不同的传感器中集成了多源信息，并在统一视图中代表功能至关重要。 BEV感知继承了几个优势，因为代表BEV中的周围场景是直观和融合友好的。对于BEV中的代表对象，对于随后的模块，如计划和/或控制是最可取的。 BEV感知的核心问题在于（a）如何通过从透视视图到BEV来通过视图转换来重建丢失的3D信息； （b）如何在BEV网格中获取地面真理注释； （c）如何制定管道以合并来自不同来源和视图的特征； （d）如何适应和概括算法作为传感器配置在不同情况下各不相同。在这项调查中，我们回顾了有关BEV感知的最新工作，并对不同解决方案进行了深入的分析。此外，还描述了该行业的BEV方法的几种系统设计。此外，我们推出了一套完整的实用指南，以提高BEV感知任务的性能，包括相机，激光雷达和融合输入。最后，我们指出了该领域的未来研究指示。我们希望该报告能阐明社区，并鼓励对BEV感知的更多研究。我们保留一个活跃的存储库来收集最新的工作，并在https://github.com/openperceptionx/bevperception-survey-recipe上提供一包技巧的工具箱。

为了构建人工神经网络，例如生物智能系统，最近的作品将许多任务统一为通才模型，该模型可以使用共享参数处理各种任务，并且没有任何特定于任务的模块。尽管通才模型在各种基准上取得了令人鼓舞的结果，但与任务特殊模型相比，它们在某些任务上具有绩效降解。在这项工作中，我们发现不同任务和方式之间的干扰是这种现象的主要因素。为了减轻这种干扰，我们将条件混合物（条件MOE）引入通才模型。建议在不同级别的条件下采用路由策略来考虑培训/推理成本和概括能力。通过合并提出的条件MOE，最近提出的通才模型Uni-Pectiver可以有效地减轻任务和方式的干扰，并通过迅速调整1％的下游数据，从而在一系列下游任务上实现最新的结果。 。此外，有条件的MOE的引入仍然具有通才模型对新任务（例如视频文本检索和视频标题）进行零摄像推断的概括能力。应发布代码和预培训的通才模型。

自我监督学习（SSL）在各种下游视觉任务上表现出色。已经提出了两个主流SSL框架，即实例歧视（ID）和蒙版图像建模（MIM）。 ID从同一图像中汇总了不同视图的表示，同时避免了特征崩溃。它在线性探测器上表现良好，但在检测性能方面较低。另一方面，MIM重建了给定的蒙版图像的原始内容。它在密集的预测下表现出色，但在线性探测方面表现不佳。它们的区别是由于忽略语义一致性或空间敏感性的表示要求而引起的。具体而言，我们观察到（1）语义对齐要求在语义上相似的观点要投影到附近的代表中，这可以通过将不同的观点与强烈的增强进行对比来实现； （2）空间灵敏度需要对图像中的局部结构进行建模。因此，用掩盖图像预测致密表示是有益的，因为它模拟了图像含量的条件分布。在这些分析的驱动下，我们提出了暹罗图像建模（SIM），该图像模型（SIM）预测了增强视图的密集表示，基于来自同一图像的另一种掩盖视图，但具有不同的增强。我们的方法使用一个带有两个分支的暹罗网络。在线分支编码第一个视图，并根据这两个视图之间的相对位置预测第二视图的表示。目标分支通过编码第二视图来产生目标。通过这种方式，我们能够分别使用ID和MIM实现可比的线性探测和密集的预测性能。我们还证明，可以在没有全球损失的情况下获得体面的线性探测结果。代码应在https://github.com/fundamentalvision/siamese-image-modeling上发布。

深度学习技术的发展极大地促进了自动语音识别（ASR）技术的性能提高，该技术证明了在许多任务中与人类听力相当的能力。语音接口正变得越来越广泛地用作许多应用程序和智能设备的输入。但是，现有的研究表明，DNN很容易受到轻微干扰的干扰，并且会出现错误的识别，这对于由声音控制的智能语音应用非常危险。

自我监督的学习表明它有可能在没有人为注释的情况下提取强大的视觉表现。提出各种作品从不同的角度处理自我监督的学习：（1）对比学习方法（例如，MOCO，SIMCLR）利用阳性和阴性样品来引导训练方向; （2）不对称网络方法（例如，BYOL，SIMSIAM）通过引入预测器网络和止动梯度操作来摆脱阴性样本; （3）特征去相关方法（例如，Barlow Twins，ViCREG），而是旨在降低特征尺寸之间的冗余。这些方法在各种动机的设计损失功能中看起来非常不同。最终的准确度数也各不相同，其中不同的网络和技巧在不同的作品中使用。在这项工作中，我们证明这些方法可以统一成相同的形式。我们不是比较他们的损失函数，我们通过梯度分析推出统一的公式。此外，我们进行公平和详细的实验以比较他们的表现。事实证明，这些方法之间几乎没有差距，并且使用动量编码器是提高性能的关键因素。从这个统一的框架来看，我们提出了一个简单但有效的自我监督学习的简单但有效的渐变形式。它不需要内存银行或预测的网络，但仍然可以实现最先进的性能，并轻松采用其他培训策略。广泛的线性评估实验和许多下游任务也表现出其有效性。代码应释放。

损失函数在培训基于网络的对象探测器方面发挥着重要作用。对象检测的最广泛使用的评估度量是平均精度（AP），其同时捕获本地化和分类子任务的性能。然而，由于AP度量标准的非可分性性质，传统的对象探测器采用两个子任务采用单独的可分散损耗。这种错误对齐问题可能会导致性能下降。为了解决这个问题，现有的作品寻求手动设计AP公制的代理损失，这需要专业知识，并且可能仍可能是次优。在本文中，我们提出了参数化的AP损耗，其中引入参数化功能以替换AP计算中的非微弱组件。因此，不同的AP近似由统一公式中的参数化函数系列表示。然后采用自动参数搜索算法来搜索最佳参数。具有三种不同对象探测器的CoCo基准的广泛实验（即，RetinAnet，更快的R-CNN和可变形DETR）表明，所提出的参数化AP损耗始终如一地优于现有的手工损失。代码在https://github.com/fundamentalvision/parameterized-ap-loss发布。

动物的生物智能系统通过将信息与各种任务同时整合在不同的方式和处理中的信息。相比之下，当前的机器学习研究遵循一个特定于任务的范例，导致任务与开发新任务的感知模型的高度边际成本之间的负面合作。在本文中，我们展示了一个名为Uni-Perceiver的通用感知体系结构，其处理各种模型和任务，具有统一的建模和共享参数。具体而言，UNI-Perceiver将从任意模态的不同的任务输入和目标进行编码为具有模态 - 不可变换器编码器和轻量级模式特定标记的统一表示空间。不同的感知任务被建模为相同的配方，即通过其表示的相似性找到每个输入的最大可能性目标。该模型在多个单模和多模态任务上预先培训，并在各种下游任务上进行评估，包括在预训练阶段中未出现的新任务。结果表明，我们没有任何调整的预先训练的模型即使在新的任务上也可以实现合理的性能。通过在下游任务数据的1％上进行提示调整，可以将性能提高到接近最先进的方法的水平。全数据微调进一步提供结果与最先进的结果相提并论。代码应释放。